今天我想要分享我過去擔任 data 相關職位的一點心得。
先簡單分享我的職涯故事，後面會介紹 Analytics Engineer 這個職位。
大學念的是統計系，畢業後完全不知道自己可以做什麼工作。
履歷到處亂投，最後錄取了零售業的經營分析。
主要用到的技能/工具：Excel, VBA, Access，大部分都是入職之後才開始學。
待了幾個部門，擔任不同角色，我認知到經營分析不是我想繼續努力的路線。
我喜歡運用我的資料處理技能，依業務邏輯設計報表。
我也喜歡埋頭改善報表流程，降低人為錯誤、提昇工作效率。
相對來說，對於製作營運報告、設立KPI、提供策略方針，則不是我有興趣的工作。
如果說 VBA 是簡單的程式，Access 就是閹割版的 SQL。
我想學真正的程式、真正的SQL，所以我離開這間公司，轉職進了資訊業。
接下來的兩份工作，都是資訊業，工作內容卻很不一樣。
第一份主要為開發，如我所願，學了真正的 SQL，寫了真正的程式，除了後端之外也學了前端基礎知識。
認識了軟體團隊不同的職位和分工方式，以及軟體開發的 life cycle。
第二份則是偏重維護，看事情的角度有很大的差異；相對於開發，更偏向系統可用性、穩定性、以及問題解決。
在不同的職位點了不同的技能，後面兩份工作也都有派上用場。
離開了資訊業，回頭做 data。
算是一人 Data Team，也就是 Data 一條龍。
主要的任務是將各個來源的資料，整合進資料庫，並製作報表，Power BI 或 Excel。
資料來源主要是對接電商平台的 API。
有些來源沒有提供 API，則用 FTP, email, 以及爬蟲的方式。
主要用到 Python 和 SQL。我比較不熟 Python，所以把大部分的邏輯寫在 SQL (procedure & view)
和第一份工作同樣是做 data 相比，技術的深度和廣度都提昇許多。
但也遇到類似的困境：我沒興趣做分析並提供 insight，但卻承擔了這樣的期望。
後來我想，如果要擺脫這樣的重蹈覆轍，我必須背離 Data Analyst 的方向。
那麼，就改做 Data Engineer 吧。
除了為自己找下一份工作，要更新履歷表，同時，我也幫原本的公司找接班人，要寫 Job Description。
煩惱 JD 要怎麼寫、要找什麼樣的人、職位是什麼，我在網路上看了很多文章。
我也苦惱我的履歷和面試準備。
我不覺得我原本的工作算 Data Analyst，因為我不做分析，不看數字。
顯而易見，我也不是 Data Engineer。
雖然有些人說，Data Engineer 最重要的技能是 Python 和 SQL，主要的工作內容就是 Data Pipelines，和我原本的職位相同。
但實際上不只如此。
攤開 Data Engineer 的 Job Description，要求的條件我通常 10項 只能勉強摸到 2-3項。
Data Engineer Roadmap，一半以上的技術我都完全沒碰過。
那我到底是什麼？BI Analyst？Data Developer？
直到查到 Analytics Engineer 這個職稱，我終於感覺找到解答。
我以 Senior Data Engineer 的 title 進入了現在的公司。雖然有點開心，但更多的是心虛。
以工作內容來說，我不覺得算 Data Engineer，以我的技能來說，更是不符合。
實際的工作內容，我認為是 Analytics Engineer 和 Backend Developer 兩個職位的綜合。
後來隨著組織調整，我的 title 改成 Senior IT Developer，我可以對外自稱是 專注於 Data 的 IT Developer，才終於得救。
所以，Analytics Engineer 到底是什麼？
這個新的職位，有點介於 Data Analyst 和 Data Engineer 之間，但又不太相同。
過去，要從無到有，建立一個 reporting database，需要費工刻很多 data pipelines，沒有軟體工程師或是資料工程師，很難完成。
這些年，多了很多工具和平台可以選擇，只需要少量程式碼或指令，就可以完成整條資料流程。
隨著科技的進步，data 職位的分工也有所改變。
以下節錄自 dbt 的文章 What is analytics engineering?
Analytics engineers deliver well-defined, transformed, tested, documented, and code-reviewed data sets. Because of the high quality of this data and the associated documentation, business users are able to use BI tools to do their own analysis while getting reliable, consistent answers.
相對於 Data Analyst 作分析並提供建議，Analytics Engineer較專注於清理資料，提供 analytics-ready datasets。
相對於 Data Engineer 專注於資料架構、效能，Analytics Engineer 利用像 dbt 這樣 low-code 的工具或平台，處理資料相關的任務。
此外，與 Data Engineer 比起來，Analytics Engineer 更著重在商業流程、與業務單位的溝通。工作內容可能包含到報表製作、視覺化、BI文件以及教育訓練。
以上只是個人看法。每個人的定義都不一樣，每間公司的實際工作內容也都不同。
不妨讀讀 dbt 的文章，說明了詳細的來龍去脈。連結附在下面。
Analytics Engineer 的角色除了整理資料、分類資料、提供資料，確保資料品質，也同時需要製作文件、引領使用者選擇資料源、傳遞資料使用的必要知識。
最近看到一個比喻，Analytics Engineer 就像是圖書館員。
Analytics Engineering 是一間公司中，掌管資訊的組織。
Analytics Engineer 是 data 界的圖書館員，Documentation 就是館藏系統。
第一次來圖書館，不知道怎麼找書嗎？可以直接詢問圖書館員。
就像剛加入團隊的新同事，需要 Analytics Engineer 指引，找到正確的資料源及文件。
不是第一次來嗎？可以自行使用館藏系統查詢。
就像資深同事，知道怎麼去找文件，服務自己，解決自己的問題。
以下節錄自 dbt 的文章 Data cataloging
Analytics engineering is really the organization of an organization’s information.
Analytics engineers are data librarians, and documentation is our Dewey decimal system to catalog information.
Someone may not know precisely where to begin on a project, so they’ll ask the analytics engineer, aka the librarian, to point them in the right direction.
And at other times, they’ll know exactly what they’re looking for and delve directly into the Dewey decimal card catalog (aka the documentation) themselves.
Either way, both the analytics engineer and the documentation are here to help.
Relying 100% on an analytics engineer is inefficient, yet relying entirely on documentation lacks comprehensiveness. Having both empowers people to find the information they need in the most direct, efficient way possible.
今天，希望透過我自己的故事，為 Analytics Engineer 的正名，做出一絲絲貢獻。
看到這裡應該會有人想問，Analytics Engineer 到底跟 dbt 有何關聯？
正名 Analytics Engineer 一直是 dbt Labs 在提倡的理念。
這就是為什麼我在系列文章中，必須花一天的篇幅聊這個話題。
請原諒我額外說了一堆自己的事情。
那麼，鐵人賽30天，就在這邊告一段落囉。
What is analytics engineering? https://www.getdbt.com/what-is-analytics-engineering/
Data cataloging https://www.getdbt.com/analytics-engineering/transformation/data-catalog/
歡迎加入 dbt community
對 dbt 或 data 有興趣 👋？歡迎加入 dbt community 到 #local-taipei 找我們，也有實體 Meetup 請到 dbt Taipei Meetup 報名參加
iThome鐵人賽
看影片追技術